==================================================================== GetHTML (with LocalWebServer) コマンドライン版 Copyright : Yutaka Endo ==================================================================== 履歴 gethtml -------------------------------------------------------------------- ver 1.2.3 ・最初の公開バージョン ver 1.2.4 ・拡張子を持たないファイル名(URL)の扱いに不具合があり修正 ・実体の存在しないヘッダ情報(gethtml.hif)を消去するよう変更 ・zip や lzh 等のアーカイブファイルを取得しないようにするオプション を付加 ・MS IIS で画像ファイルが取得できない件を解決 ver 1.2.8(ver 1.2.5～1.2.7 は未公表) ・取得しない拡張子リストを設定。同時に、NoImage オプション、 アーカイブを取得しないオプションを廃止。 ・URL がファイル名に変換できない場合でも、代替ファイル名を設定して、 WebPage データとヘッダを記録するように変更。 ・Top (ダイアログで指定した URL) の WebPage のリンクデータは全て取 得するオプションを追加。 ・LocalWebServer(lwebsrv.exe)の添付 ・Header 部分の終わりを、CR LF CR LF でなく、LF LF と返す WebServer に対応した。 ver 1.2.9 ・プログラム動作中に gethtml.hif の内容が壊される不具合があったため、 hif ファイルを司るモジュールの構造を変更。 ・LocalWebServer 部で、例えば URL が http://aaa.bb.cc/ddd/ 等 / で 終わっているものに対して、http://aaa.bb.cc/ddd と / を取って要求 しても WebPage データを返さないよう変更した。 ver 1.2.10 ・html の tag が例えば のように不完全だった場合にハング アップする不具合を修正。 ・gethtml.hif ファイルに情報を書き出すとき、 URL の http:// 部分の 書き出しをやめた。 ・文法違反だが、tag 以外の目的で < や > を使っている WebPage でハン グアップする不具合を修正 ・ 内をコメントと見なし、追跡しないようにした。 ・-m オプションが効かなかった不具合を修正 ver 1.3.0 ・-log オプションの追加。仕様変更につき、バージョン番号アップ ・cgi 等の、? を使っている URL の WebPage データ保存が出来ない不具合 を修正。 ・取得しない拡張子リストに、コメント * を設けた。 ・URL に ServerPort 指定のあるもの(ex. http://www.aaa.bb:8080/ )が 保存できない不具合を修正。 ・なんらかの理由で、取得した WebPage データが保存できない場合、エラー を表示するよう変更。 ver 1.4.0 ・ に対応していなかったので、内部構造を大きく変えた。 これにより、バージョン番号アップ。 ・ファイルに変換できない URL の代替ファイル名が、ページ更新時に変わっ てしまう仕様を変更。 ver 1.4.1 ・前バージョンは、version 表示が 1.3.0 となっていた。 ・cgi の呼び出しで、? 以降に http:// が入っている場合、呼び出せない 不具合を修正。 ・WebPage データのファイル名が、デバイス名とぶつかっている場合に、 (例: com1.jpg 等)データが保存できない不具合を修正。 ・取得データ数が非常に多い場合にプログラムが停止してしまう不具合で、 スタックを浪費するルーチンを改良した(stack が壊れているらしいので)。 ・このバージョンより、delulink.exe を同梱した。 ver 1.4.2 ・メモリの利用効率を改善。 ・以前取得した WebPage data を再取得するとき、更新していない場合でも Date: フィールド(gethtml.hif に残す Header 情報)だけは更新するよう にした。 ver 1.5.0 ・初期(入力した) URL ページ上のリンクデータしか取得しないオプションを 追加。機能追加によりバージョン番号アップ。 ver 1.5.1 ・一つの tag (< >)内に二つ以上取得すべきデータがある場合に対応してい なかったので、修正( 等)。 ・thread の起動ルーチンを最適化した。 ・更新したデータのみ取得するメカニズムに不具合があった点を修正。 ・取得した WebPage data が save できなかった場合に Retry 出来なかった 不具合を修正。 ver 1.6.0 ・最後に / のつく URL の扱い方を変更 ・起動時の初期化作業時間の短縮化を計った ・UserID と Password の必要なサイトへの認証をサポートした (WWW-Authenticate: と、Authorization:) ・取得指定した URL の下位階層にない URL まで追跡取得してしまう不具合を 修正。 ・オプションの種類を変更した。 ver 1.6.1 ・UserID と Password を http://UserID:Password@Server/.... と指定する書 式に対応。 ver 1.6.2 ・重複取得を抑制するルーチンの最適化。 ・アスタリスク(*)や、空白の入った URL(ディレクトリ)を取得できるよう対応。 ver 1.6.3 ・URL に ServerPort 指定のあるもの(ex. http://www.aaa.bb:8080/ )が 保存できない不具合を修正(ver 1.6以降のバグ埋め込み)。 ・空白(0x20)を含む tag/link で示されたデータを取得できない不具合を修正。 ver 1.6.4 ・thread の起動方法を見直した。 ver 1.6.5 ・指定 URL に対するサーバの応答が moved の時、move 先の URL が / を含ま ないと不具合が起きる点を修正。 ver 1.6.6 ・取得時のスレッド数を指定できるようにした。 ver 1.6.7 ・"-r"オプションを指定すると、同じ URL の WebPageデータを何回も取得し てしまう不具合を修正。 ver 1.6.8 ・コメントtag を無視するロジックの不具合を修正。 ver 1.6.9 ・ver 1.6.8 の表示がおかしいという重大な不具合を修正。 ver 1.7.0 (28 August, 1998) ・ の移動 tag に 対応した。 ・http://www.aaa.ac.jp のような、http:// 以降に一つも / が無い URL が取得できない不具合を修正。 ・認証の必要なページへ新規にアクセスする場合にアクセスできない不具合 を修正。 ・Thread の管理クラスを見直した。 ・"-o" オプションの追加。 ver 1.7.1 (29 August, 1998) ・最後が / で終わるべき URL を / 無しで取得指定したときに追跡できな い不具合を修正(ver 1.7.0 で埋め込み) ver 1.7.2 (30 August, 1998) ・ の扱いに不具合があり、修正した。 ver 1.7.3 (7 September, 1998) ・Thread の管理クラスを見直した。その他内部の最適化。 ・"-r"オプションを有効にして取得を行うと一般保護違反となる不具合を修 正。 ver 1.8.0 (12 September, 1998) ・"-ao" オプションの付加。 また、以前の "-a" オプションは "-at" になった。 ・許容 URL の設定において、拒否 URL を設定できるよう機能拡張。 ・起動時の若干の高速化(体感できなかった。WebPageデータファイルの存在 チェック(access() 関数)に時間が掛かっている模様) ver 1.8.1 (14 September, 1998) ・例えば、本来 http://www.nurs.or.jp/~usagi/ である URL を http://www.nurs.or.jp/~usagi と指定しても取得できない不具合を修正(恐らく ver 2.7.0で bug を埋め 込んだ)。 ・起動時間を短縮した(その分終了に要する時間が増えた^^;) ver 1.9.0 (17 September, 1998) ・"-any" オプションの設定と、旧オプションの廃止。 ・取得階層制限数を指定できるようにし、これに絡むオプションの廃止。 ・取得残り URL 数の表示。 ・取得終了時の Status の変更(OK => Success, NotFound => NoGood 等) ・User-Agent: ヘッダをつけるようにした。 ver 1.10.0 (23 September, 1998) ・Host: ヘッダを送出しないと取得できない Webサイトがあることが分かり、 送出するよう変更。User-Agent: ヘッダはやめた。 ・URL に & が使用してある WebPage データを保存できなかった不具合 を解消 ・内部構造を若干変更。 ・"-to Timeout" オプションの追加 ver 2.0.0 (26 September, 1998) ・暫定的に Post Method に対応。 (Post Method は、プッシュボタン等があるページで発生する)。 同時に、これを有効にするオプションの設定。 ver 2.0.1 (26 September, 1998) ・プッシュボタン追跡処理に不具合があり修正した。 ver 2.1.0 (10 October, 1998) ・-to -C オプションが機能しなかった不具合を修正。 ・ftp:// の取得に対応。 ・取得時余計なキャラクタを送出して、特定の URL が取得できない不具合 を修正。 ver 2.2.0 (15 October, 1998) ・-CMD オプションを追加。 ver 2.3.0 (20, October, 1998) ・ftp:// で、FTPServer によって取得できない不具合を修正。 ・アドレスを調べる時間の短縮化を計った(DNScache)。 ・Thread 管理部の最適化。 ver 2.3.1 (22, October, 1998) ・Thread 管理部の最適化。 ・取得中の CPU 使用率を減らす細工を入れた(イベントドリブン化)。 ver 2.4.0 (28, October, 1998) ・Thread 管理部の最適化。 ・取得エンジンの内部構造の変更。 ・-af, -rt オプションの追加。 ・DNScache はやめた。 ver 2.4.1 (30, October, 1998) ・内部処理の若干の変更。 ver 2.4.2 (31, October, 1998) ・cgi など、256 文字を越える URL へのリンクがあると一般保護違反で プログラムが終了してしまう不具合を修正。 ver 2.4.3 (1, November, 1998) ・処理の変更(VxD 飛ばし対策) ver 2.4.4 (3 November, 1998) ・Disk容量が不足したときに一般保護違反が発生する不具合を対処。 ・本来コメントは なのを、 と誤って記述している ページにて Link のWebPage データが取得できない件を対策。 ・ の扱いを修正。 ・FTP の取得に関する不具合の修正(日付処理) ver 2.4.5 (6 November, 1998) ・ftp://USER:PASSWORD@net_path に対応した。 ・http://servername:8080 の様に、URL に / が無く、PORT 指定のある URL の取得保存ができない不具合を修正。 ==================================================================== 履歴 lwebsrv -------------------------------------------------------------------- ver 1.0.1 ・最初の公開バージョン ver 1.0.2 ・LocalWebServer 部で、メモリエラーを生じていた不具合を修正 ver 1.0.3 ・gethtml.hif をつかさどる class の最適化を行ったのみ。 ver 1.0.4 ・gethtml.hif をつかさどる class の仕様変更を行った。 ver 1.1.0 ・最後に / のつく URL の扱い方を変更 ・thread の起動ルーチンを最適化した。 ver 1.1.1 ・gethtml.hif をつかさどる class の使い方を変更したのみ。 ver 1.1.2, 1.1.3, 1.1.4 ・内部処理の最適化。 ver 1.2.0 (28 August, 1998) ・Thread の管理クラスを見直した。 ・send 時の一回の転送サイズを見直した。また、最大 Thread 数を 5 (受信待機 Thread 1, 転送 Thread 4) とした。 ver 1.3.0 (7 September, 1998) ・gethtml.hif に履歴情報がなくても、WebPageデータが存在していたら クライアントにデータを渡すようにした。 ・Thread ルーチンの最適化 ver 1.3.1 (12 September, 1998) ・send 時の一回の転送サイズを見直した。 ver 1.3.2 (14 September, 1998) ・debug 用 code が入っていて、実行速度が極端に遅かった。 ・起動時間を短縮した。 ver 2.0.0 (23 September, 1998) ・ProxyServer 機能を付加。 http://0.0/proxy でプロキシモード(インターネットへスルー)へ、 http://0.0/server でLocalWebServerモードとなる。 ・これにより、最大 Thread 数を 9 に。しかも可変に。 ・ -x オプションの付加 ver 2.1.0 (26 September, 1998) ・暫定的に Post Method に対応。 (Post Method は、プッシュボタン等があるページで発生する)。 ver 2.1.1 (10 October, 1998) ・内部を最適化。 ver 2.1.2 (15 October, 1998) ・内部を若干変更。 ver 2.1.3 ・内部を若干変更。 ver 2.2.0 (20, October, 1998) ・LocalWebServer 部で、ProxyMode 時に VxD レベルで例外を起こしてしま うことがあるため(Win95)、タイムアウトチェックを外した。 ・Thread 管理部の最適化。 ver 2.3.0 (22, October, 1998) ・Thread 管理部と、内部構造の刷新。機能的な追加はありません。 ver 2.3.1 (23, October, 1998) ・ブラウザの「リロード」で取得・モード切り替えするロジックの不具合を 修正。 ver 2.3.2 (28, October, 1998) ・Thread 管理部の最適化。 ・DNScache はやめた。 ver 2.4.0 (30, October, 1998) ・処理の最適化(VxD 飛ばし見込対策) ・LocalWebServer のモードを切り替えるコマンドの変更 http://localhost:PortNo/proxy で ProxyMode(インターネットへスルー)、 http://localhost:PortNo/server でLocalWebServerモードとなる。 ver 2.4.1 (31, October, 1998) ・cgi など、256 文字を越える URL へのリンクがあると一般保護違反で プログラムが終了してしまう不具合を修正。 ・LocalWebServer のモードを切り替えるコマンドの変更 ver 2.4.2 (1 November, 1998) ・処理の変更(VxD 飛ばし対策) ver 2.4.3 (2 November, 1998) ・WWW ブラウザで「Reload」を選択したときに、LocalWebServer から返さ れるページのリンククリックが効かない不具合を修正(特に MS-IE)。 ver 2.4.4 (3 November, 1998) ・LocalWebServer を停止した後にいずれかのモードで動作させた場合、 動作しない不具合を修正。 ・内部処理の変更。 ver 2.4.5 (6 November, 1998) ・IE4.x の「Reload」に反応しない不具合を修正。 ==================================================================== 履歴 delulink -------------------------------------------------------------------- ver 1.0.0 ・最初の公開バージョン ver 1.1.0 ・指定した日付以前に取得・更新チェックした WebPage data を消去する 機能を追加。 ver 1.1.1 ・履歴情報があるのに消去リストに上ってしまう不具合を修正。 ver 1.1.2 ・指定日付以前のデータ消去機能が動作しない不具合を修正. ・内部処理の最適化。 ver 1.1.3 (7 September, 1998) ・内部処理の最適化。 ver 1.1.4 (1, November, 1998) ・内部処理の変更。 ====================================================================